Lee dilahirkan di Dewan Pertanian Stratford di Westmoreland County, Virginia, anak kepada Mejar Jeneral Henry Lee III (Kuda Ringan Harry) (1756-1818), (Gabenor Virginia) dengan isteri keduanya, Anne Hill Carter (1773-1829). Tarikh kelahirannya secara tradisinya telah direkodkan sebagai 19 Januari 1807, tetapi mengikut sejarah Elizabeth Brown Pryor , "Tulisan-tulisan Lee menunjukkan dia mungkin telah dilahirkan pada tahun sebelumnya." [9]

Salah seorang leluhur Lee, Henry Lee I , merupakan penjelajah Virginia terkemuka keturunan Inggeris. [10] Keluarga Lee merupakan salah satu keluarga Virginia pertama itu, asalnya tiba di Virginia dari England pada awal 1600-an-an dengan kedatangan Richard Lee I, ESQ, "imigran" (1618-1664). [11] Ibunya dibesarkan di Shirley Plantation , salah satu rumah yang paling menarik di Virginia. [12] Bapa Lee, seorang penanam tembakau, mengalami kemerosotan kewangan teruk akibat pelaburan yang gagal. [13]

Tidak banyak yang diketahui mengenai Lee semasa kanak-kanak; dia jarang bercerita mengenai zaman kanak-kanaknya semasa dewasa.[14] Tiada banyak yang diketahui mengenai hubungan beliau dengan bapanya, yang, selepas meninggalkan keluarganya, hanya disebut Robert sekali sahaja dalam surat. Apabila diberi peluang untuk melawat kubur bapanya Georgia, dia duduk di sana hanya untuk seketika sahaja, manakala sebagai presiden Kolej Washington, beliau mempertahankan bapanya dalam lakaran biografi ketika menyunting memoir Kuda (berperisai) Ringan Harry. [15] Pada tahun 1809, Harry Lee diletakkan dalam penjara pehutang; tidak lama selepas dia dibebaskan pada tahun berikutnya, Harry dan Anne Lee dan lima orang anaknya berpindah ke rumah yang kecil di Jalan Cameron di Alexandria, Virginia , ia kerana terdapat sekolah tempatan yang hebat di sana dan kerana ahli sanak-saudaranya tinggal berdekatan.[16] Pada tahun 1811, keluarga itu, termasuk bayi keenam yang baru dilahirkan, Mildred, berpindah ke rumah di Jalan Oronoco, yang masih dekat dengan pusat bandar dan berdekatan dengan rumah beberapa saudara-mara Lee. [17] Pada tahun 1812, Harry Lee telah cedera teruk dalam rusuhan politik di Baltimore, dan Setiausaha Negara James Madison mengatur perjalanan ke Hindia Barat bagi Lee. Dia tidak akan kembali, meninggal dunia ketika anaknya Robert berusia 11 tahun. [18] Tinggal untuk membesarkan enam orang kanak-kanak bersendirian dalam kesempitan kewangan, Anne Lee dan keluarganya sering membuat lawatan berpanjangan kepada saudara-mara dan rakan-rakan keluarga. [19] Robert Lee telah menghadiri sekolah di Timur, sebuah sekolah untuk pemuda budiman, di Fauquier County , dan kemudiannya di Akademi Alexandria, percuma untuk pemuda tempatan, di mana beliau menunjukkan kebolehan dalam matematik. Walaupun dibesarkan sebagai pengamal Kristian, beliau tidak disahkan di Gereja Episcopal sehingga berusia 46.

Keluarga Anne Lee sering dibantu oleh saudaranya, William Henry Fitzhugh, yang memiliki rumah di Jalan Oronoco dan membenarkan Lees untuk tinggal di rumahnya di Fairfax County, Ravensworth . Apabila Robert berusia 17 tahun pada tahun 1824, Fitzhugh menulis kepada Setiausaha Perang, John C. Calhoun , mendesak agar Robert diberi temujanji untuk Akademi Ketenteraan Amerika Syarikat di West Point. Fitzhugh hanya menulis sedikit mengenai kehebatan akademik Robert, menekankan mengenai keluarganya yang menonjol, dan tersilap menyatakan bahawa pemuda itu sebagai berusia 18 tahun. Disebalik mengirimkan surat itu, Fitzhugh menyuruh Robert menghantarkannya. [20]Pada bulan Mac 1824, Robert Lee menerima penerimaan beliau ke West Point, tetapi disebabkan oleh bilangan besar kadet yang diterima, Lee perlu menunggu setahun untuk memulakan pengajian di sana.[21]

Lee memasuki West Point pada musim panas 1825. Pada masa itu, fokus kurikulum adalah kejuruteraan; ketua Tentera Kor Jurutera menyelia sekolah dan penguasa itu adalah merupakan seorang pegawai kejuruteraan. Kadet tidak dibenarkan meninggalkan sehingga mereka tamat dua tahun pengajian, dan jarang sekali dibenarkan untuk meninggalkan kawasan Akademi. Lee adalah graduan kedua dalam kelas dibelakang Charles Mason, [22] yang telah berhenti dari Angkatan Tentera setahun selepas tamat pengajian, dan Lee tidak menerima sebarang denda sepanjang empat tahun kajian-lima rakan sekelas dari 45 orang turut mendapat pujian yang sama. Pada bulan Jun 1829, Lee telah ditauliahkan sebagai leftenan keduabrevet dalam Kor Jurutera. [23] Selepas tamat pengajian, beliau kembali ke Virginia sementara menunggu tugasan tetapi mendapati ibunya sakit tenat; ibunya meninggal dunia di Ravensworth pada 26 Julai 1829.[24]